Ce palais a été construit par la puissante famille noble Chiaramonte d'Agrigente au 14ème siècle, lorsque la famille a atteint son apogée.
Les travaux ont commencé en 1307 et se sont poursuivis jusqu'en 1380, mais le deuxième étage n'a jamais été achevé. En 1396, Andrea Chiaramonte a été décapité publiquement devant son palais parce qu'il s'était rebellé contre le roi.
Le palais a servi de résidence du vice-roi entre 1468 et 1517, de siège de l'Inquisition vers 1600 et de palais de justice à partir de 1799. Le bâtiment massif en blocs à quatre ailes autour d'une cour intérieure carrée est maintenant un musée.